Redis生产环境你还敢用keys?我劝你放下屠刀,回头是岸!!!
点击上方☝SpringForAll社区 轻松关注!
本文来源:http://r6d.cn/bwn43
SCAN 简介
SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代(incrementally iterate)一集元素(a collection of elements):
SCAN 命令用于迭代当前数据库中的数据库键。 SSCAN 命令用于迭代集合键中的元素。 HSCAN 命令用于迭代哈希键中的键值对。 ZSCAN 命令用于迭代有序集合中的元素(包括元素成员和元素分值)。
基本用法可以参考:http://doc.redisfans.com/key/scan.html
SCAN和KEYS的区别
当 KEYS 命令被用于处理一个大的数据库时, 又或者 SMEMBERS 命令被用于处理一个大的集合键时, 它们会锁定redis库, 可能会阻塞服务器达数秒之久。在高并发下会导致请求大量堆积进而导致服务雪崩。有些公司在生产环境直接禁用kyes *
命令。但是在redis服务器key的数量不大的情况下,使用keys也是没啥问题的。
SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代 ,它们每次执行都只会返回少量元素,不会阻塞服务器, 所以这些命令可以用于生产环境, 而不会出现像 KEYS 命令、 SMEMBERS 命令带来的问题。
SCAN
一样有它自己的问题:
因为是分段获取key,所以它会多次请求redis服务器,这样势必取同样的key,scan耗时更长。 在对键进行增量式迭代的过程中, 键可能会被修改, 所以增量式迭代命令只能对被返回的元素提供有限的保证。
SCAN cursor [MATCH pattern] [COUNT count]
使用SCAN代替KEYS
/**
* redis扩展工具
*
* @author yuhao.wang3
* @since 2020/2/21 23:35
*/
public abstract class RedisHelper {
private static Logger logger = LoggerFactory.getLogger(RedisHelper.class);
/**
* scan 实现
*
* @param redisTemplate redisTemplate
* @param pattern 表达式,如:abc*,找出所有以abc开始的键
*/
public static Set<String> scan(RedisTemplate<String, Object> redisTemplate, String pattern) {
return redisTemplate.execute((RedisCallback<Set<String>>) connection -> {
Set<String> keysTmp = new HashSet<>();
try (Cursor<byte[]> cursor = connection.scan(new ScanOptions.ScanOptionsBuilder()
.match(pattern)
.count(10000).build())) {
while (cursor.hasNext()) {
keysTmp.add(new String(cursor.next(), "Utf-8"));
}
} catch (Exception e) {
logger.error(e.getMessage(), e);
throw new RuntimeException(e);
}
return keysTmp;
});
}
}
源码分析
我看到网上很多文章说这种实现方式cursor
只会被执行一次,其实这是错误的,使用这种方式cursor
会将所有的符合条件的key都返回回来,他只是将游标的移动给封装了起来而已,真正执行查询的语句起始在cursor.hasNext()
里面,源码如下:
/*
* (non-Javadoc)
* @see java.util.Iterator#hasNext()
*/
@Override
public boolean hasNext() {
assertCursorIsOpen();
// 存放结果集的容器没有值,并且游标状态是未完成的时候进行Scan动作
while (!delegate.hasNext() && !CursorState.FINISHED.equals(state)) {
scan(cursorId);
}
// 如果结果容器还有值直接返回true,进行循环
if (delegate.hasNext()) {
return true;
}
// 如果结果容器没有值,但是游标不为0则表示还有值,需要进行下一次循环
if (cursorId > 0) {
return true;
}
return false;
}
private void scan(long cursorId) {
// 进行scan操作
ScanIteration<T> result = doScan(cursorId, this.scanOptions);
// 结果集处理
processScanResult(result);
}
private void processScanResult(ScanIteration<T> result) {
if (result == null) {
// 重置结果集容器
resetDelegate();
// 设置游标状态为完成
state = CursorState.FINISHED;
return;
}
// 获取当前游标位置
cursorId = Long.valueOf(result.getCursorId());
if (isFinished(cursorId)) {
// 游标返回0,设置游标状态为完成
state = CursorState.FINISHED;
}
if (!CollectionUtils.isEmpty(result.getItems())) {
// 将查询结果放到容器中
delegate = result.iterator();
} else {
resetDelegate();
}
}
由上面源码我们可以看到游标的移动是在processScanResult()
方法中完成。通过state
来记录当前游标状态,大致过程为:
当存放结果集的容器没有值,并且游标状态是未完成的时候进行Scan动作 如果结果容器还有值直接返回true,进行循环 如果结果容器没有值,但是游标不为0则表示还有值,需要进行下一次循环
墙裂推荐
【深度】互联网技术人的社群,点击了解!
● @Autowired注解实现原理(Spring Bean的自动装配)
关注公众号,回复“spring”有惊喜!!!
如果资源对你有帮助的话